golang实现抓取IP地址的蜘蛛程序

背景

要做IP地址归属地查询，量比较大，所以想先从网上找到大部分的分配数据，写个蜘蛛程序来抓取入库，以后在程序的运行中不断进行维护、更新、完善。

一些关键点

1. goroutine的使用，让程序并行运行。
2. 正则表达式分组信息提取的使用，正确的提取我们关注的信息。
3. 数据库批量插入操作。
4. 数据库批量更新操作。

代码解析

按功能模块对核心代码进行说明

ip.go

主进程，实现goroutine的调用。

func main()  {
    //利用go基本库封装的网页抓取函数，后面有说明
    ctx := common.HttpGet("http://ips.chacuo.net/")  
    //正则表达式，有两个分组（两组小括号），分别取城市信息与url，具体分析代码后面有说明
    reg := regexp.MustCompile(`<li><a title="[\S]+" href='([^']+?)'>([^<]+?)</a></li>`)        
    //取得页面上所有的城市及相应url
    ips := reg.FindAllStringSubmatch(string(ctx), -1)

    ch := make(chan string)    //建立无缓冲字符串通道

    for _, el := range ips {    //一个协程处理一个具体页面
        go ipSpider.SpiderOnPage(el[1], el[2], ch)
    }

    for range ips {            //阻塞等待所有抓取工作全部完成
        fmt.Println(<-ch)
    }
}

正则表达式说明

• 主进程针对所有省有入口页面，取得每省的入口分配给一个协程去处理，每一个入口是这个样子

<a title="北京最新IP地址段" href="http://ips.chacuo.net/view/s_BJ">北京</a>

• 请注意，这里面变化只有三个部分（title内容，href内容，链接显示内容），其中两个部分是我们需要的
• title内容对应正则为 [\S]+ ，非空白符
• href内容对应的正则为 ([^']+?) ，第一次遇到单引号结束，问号表示非贪婪匹配，括号是分组，能方便取出所匹配信息
• 链接显示内容对应的正则为 ([^<]+?) ， 第一次遇到<时结束，第二个分组
• FindAllStringSubmatch函数可以取出所有子分组，子分组从下标1开始，0为正则整体匹配的字符串

goroutine 流程

• 建立一个无缓冲字符串通道，作为所有协程与主进程通信通道
• 循环正则匹配结果，为每一个省的页面分配一个协程
• 协程获取数据成功并批量写数据库，返回成功信息到通道
• 协程处理失败，反回失败信息到通道
• 主进程阻塞等所有协程成功或失败返回，并打印成功或失败信息

获取ip地址信息

与主进程类似，注意无信息时处理。

IpSpider.go

    //获取页面数据
    ctx := common.HttpGet(url)
    //reg := regexp.MustCompile(`<li><a title="[\S]+" href='([^']+?)'>([^<]+?)</a></li>`)
    //两个分组分别对应IP段开始与结束
    reg := regexp.MustCompile(`<dd><span class="v_l">([^<]+?)</span><span class="v_r">([^<]+?)</span><div class="clearfix"></div></dd>`)
    //<dd><span class="v_l">49.64.0.0</span><span class="v_r">49.95.255.255</span><div class="clearfix"></div></dd>
    //取得所有匹配的分组信息
    ip := reg.FindAllStringSubmatch(string(ctx), -1)
    //没有取得任何信息，提前返回，很重要，不然主进程会一直等待结束不了
    if len(ip) == 0 {
        ch <- "There are no data exist."
        return nil
    }

数据库表结构生成语句

CREATE TABLE `ip_addr_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '索引，自动增长',
  `ip_addr_begin` varchar(32) NOT NULL DEFAULT '' COMMENT 'ip地址段开始',
  `ip_addr_end` varchar(32) DEFAULT '' COMMENT 'ip地址段结束',
  `province` varchar(32) DEFAULT '' COMMENT '所属省',
  `ip_comp` varchar(32) DEFAULT '' COMMENT '运营商',
  PRIMARY KEY (`id`),
  UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`)
) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT='表';

批量写入数据库

循环处理抓取数据，生成批量写入语句及输入参数，请签到出到afc9ebd版本。

    var vs [] interface{}        //存储输入参数的接口数组
    var vss string               //待拼接的输入参数占位符字符串
    for _, el := range ip {      //处理所有的数据
        vs = append(vs, el[1], el[2], province)    //每一列包括开始地址、结束地址与省份
        vss += "(?,?,?),"        //占位符
    }
    vss = vss[0:len(vss) -1]     //去掉最后的逗号
    var configs interface{}      //从配置文件取数据库信息
    fr, err := os.Open("./configs.json")    //配置文件内容请参照上篇文章《golang实现mysql数据库备份》
    if err != nil {
        ch <- err.Error()
        return err
    }
    decoder := json.NewDecoder(fr)
    err = decoder.Decode(&configs)

    confs := configs.(map[string]interface{})
    dialect := confs["database_dialect"].(string)

    dbConf := confs["db_"+dialect+"_config"].(map[string]interface{})
    dbHost := dbConf["db_host"].(string)
    dbPort := strconv.FormatFloat(dbConf["db_port"].(float64), 'f', -1, 32)
    dbUser := dbConf["db_user"].(string)
    dbPass := dbConf["db_pass"].(string)
    dbName := dbConf["db_name"].(string)
    dbCharset := dbConf["db_charset"].(string)

    dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+"?charset="+dbCharset)
    defer dao.Close()
    if err != nil {
        ch <- err.Error()
        return err
    }
    //批量插入语句拼接
    sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values " + vss
    stmt, err := dao.Prepare(sqlstr)    //预处理带参数的sql语句
    rs, err := stmt.Exec(vs...)         //带参数执行sql语句
    if err != nil {                    //出错，返回错误信息
        ch <- err.Error()
        return err
    }else {                            //成功，返回成功信息
        affect, _ := rs.RowsAffected()
        ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
        return nil
    }

批量修改数据库

数据库中的ip_comp字段，是代表运营商信息，需要从运营商页面进入进行数据获取，只需改一下入口url重新运行程序就能正确抓取，但这时入库就不是新增了，而是更新，请签出到4729e66版本。

    //前提数据库表定义要设定唯一索引，主键或其它定义的unique索引
    ...
    
    sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values " + vss +
        //提供更新（唯一索引冲突时）时要对应原字段与值
        " ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp)"
    stmt, err := dao.Prepare(sqlstr)
    rs, err := stmt.Exec(vs...)
    if err != nil {
        ch <- err.Error()
        return err
    }else {
        affect, _ := rs.RowsAffected()
        ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
        return nil
    }

待改进的方面

把入口url提到配置中，使用策略模式，让匹配规则抽象成策略，目标是不改程序，调整配置文件就可以抓取不同的网页。

项目地址

https://github.com/zhoutk/goTools

使用方法

git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run ip.go

go buid ip.go
./ip        

小结

熟悉了golang语言，了解了一种全新的并发编程模式，熟悉了具体的数据库操作方法，给自己生成了一个方便的工具。